远程办公是巨头游戏？十倍扩容，他们如何做到百万级并发流量
作者 | Just
出品 | CSDN（CSDNnews）
据说，远程办公工具是2020年的第一个风口。
疫情发生后，除了Zoom这样深耕视频会议多年的软件，钉钉、企业微信、飞书等一大批互联网巨头也开通了免费服务，凭借着自身庞大的资源四处招揽用户。
1月31日，远程办公开启第一天，钉钉、企业微信就因为扩容没做好，扛不住庞大流量，系统陷入奔溃。这些大厂很快可以加服务器，进行技术调整，还能将一场宕机危机转化成一次产品曝光机会。
面对此次考验，此前没有太多发声的“小公司”却不容有失，在云视频会议领域扎根十多年的全时云就是其中之一。
CTO 赵元军告诉CSDN（CSDNnews），“这个公司有个特点，就是随时准备好，要做就要做好，把产品性能和客户体验放到首位。之前我们认为可以免费开100方，就开100方，然后我们发现200方准备好了，那就去开200方。”
一句话，要稳。无论是做技术、产品还是应对疫情，全时云都显得比较稳。
十倍流量的冲击
1月25日，大年初一，全时云研发团队开始着手应对疫情的预案。
首要工作是后台服务的扩容。一方面，全时云有数万付费客户，而像顺丰、万达这种大企业内部就有数万帐号，他们在正常时期一天会开数十万分钟的会议，但现在的需求可以达到数百万分钟。另一方面还要考虑数量激增的免费注册新用户。
问题来了，需要扩容到什么量级才合适？
初三到初六期间，全时云的系统每天早上10点到10点半是流量峰值，在稳步增长，而初七远程办公首日用户流量会出现爆发性增长，所以他们预估了一个10倍的扩容量级。
扩容也不是一次到位。赵元军称，他们在大年初三对新用户免费开放了100方的容量，但他们低估了用户量的增长，在加固后台服务能力一周后，又把免费容量扩大到200方。而全时云系统是具有横向扩容能力分布式技术架构，他们还安排了备份扩容的机器。
随后，研发团队梳理了技术系统可能存在的风险，以防在流量爆发性增长时确保不出故障，全时云团队不会容忍用户体验出问题。
大年初三，数十名运维团队的工程师就全部进入高强度的工作状态。运维总监欧阳华称，他们团队做的最多的是对系统进行“找茬补缺”，因为从用户注册到登陆开会是个系统过程，任何一个堵点都会影响整体用户体验，他们必须第一时间就定位到问题，然后及时修复。
他们还预估了最坏的状况，做了灾备演练。比如系统出问题时，让客户的会议通道从一个机房调换到另一个机房，在新环境继续使用。
而对产品团队而言，他们需要及时了解客户使用时出现的bug，然后反馈给研发快速解决问题。何思颖领导的整个产品团队几乎都投入到前线客服的战线，“每天每个人多则50通电话，少则10通电话，收集客户反馈的使用体验问题，然后在在更新版本中去解决。”
根据目前的流量数据，赵元军透露，远程办公开启后，全时云系统每天有百万级并发量。“事实证明，我们的用户增长量差不多就是10多倍。”
云视频会议技术架构设计
10倍容量拉长到一、两年，一个研发团队可以很从容的去应对，但是放在一周内解决并非易事。
对所有产品来说，稳定性、可靠、可用是最基本要求。
那么云视频会议的特点是什么？赵元军总结了两点：数据量特别大，网络上大约80%的流量可能来源于视频。实时性要求高，尤其是互动型视频会议，技术难度远远高于直播，后者至少允许延时、后台缓存。
基于这两大特点，他认为视频系统技术架构设计要遵循三大原则：
首先，系统要分布式、可扩展。比如一场会议有1000人，每个人看1080P视频，总共要用掉大约1.5G流量，更好的网卡要花更多钱，如果不想花更多钱，又想保证基本流量，就需要架构设计上把一场会议的传输分到不同的服务器，这样能够保证数据服务的高可用性，不同的用户都能有更好体验。
其次，系统要有网络感知能力。随着用户量增加，要保证网络使用稳定，可能需要产品的网络感知能力来了解带宽、丢包率、延时等情况，然后去调整发包策略、编码策略。
最后，系统易用性要好。与用户使用体验相关，比如桌面共享文件实时接收、色彩还原度调整、背景音降噪、回声消除、音量自动增益等细节功能的打磨。
而要应对疫情期间这样高流量的冲击，他们需要克服两大技术挑战。一是高并发问题。二是弱网络问题，赵元军解释，全国各个组织都有远程开会需求，不光全时云机房、数据中心会面临压力，网络运营商的压力也很大，这时产品可能会面临丢包、延时、抖动等一系列问题的考验。
好在全时云的基础比较牢靠，从前年就开始重点投入这两大难题。实际上，从2016年至今，他们规划的分布式架构已经更新了四版，理论上系统可以无限的横向扩容。
不过，全时云的独特不止与此。
强敌环伺，全时云的突围
这次疫情将诸多云视频会议的企业摆在了台面上，虽然体量不及巨头，但论资历，全时云在云视频会议行业已潜心修行十多年。
2006年发展初期，全时云也曾借鉴美国的云视频会议公司WebEx，但当时这一领域在国内的市场规模较小，后者的运作模式显然在中国水土不服。赵元军说，中国和美国市场不太一样，前者更多是知识型产业，而中国市场还在产业升级中。
此前，他曾在WebEx工作11年，随着WebEx苏州研发中心关闭，他和欧阳华等工程师加入全时，另一部分人则去了Zoom。
2007年，思科以30亿美元收购了WebEx。彼时，WebEx也许是最好的云视频会议系统，其主要面向大企业，每年有十几亿美元的销售额，但由于思科主要营收业务来自硬件产品，WebEx被并购后在战略上没有得到足够重视。
2016年左右，云视频会议市场也曾被唱衰，当时云通讯公司LogMeIn以18亿美元收购Go To Teeting，硬件视频会议厂商Polycom以17亿美元金被私募股权公司Siris Capital收购。
直到2019年，Zoom的上市掀起了行业的波澜，其市值一度达到200多亿美元。今年以来，国内的腾讯、阿里、字节跳动等互联网巨头都加码投入到了云视频会议领域。
前有老牌对手，后有强敌环伺，全时云这样的“小公司”还有机会么？如何突围甚至走出康庄大道？
赵元军对比了WebEx和Zoom这两大全时云先后对标的云会议厂商。
从技术角度，面向大企业的WebEx需要客户有较好的IT基础设施；而Zoom一开始主打中小企业，包括免费用户，这些用户的基础设施和网络状况参差不齐，如果交互性、应用性做得不好，就会影响用户体验，所以他们的产品会考虑到全球市场的普适性，做得更简单。
从市场角度，中美两国的用户特征不尽相同，在中国市场，QQ、微信等产品教育了用户的音视频使用习惯。
对于全时云而言，Zoom的打法显然更值得参考。一是WebEx的架构设计、传输系统、编解码系统显然不适合中国企业的IT基础设施；二是在国内市场，QQ、微信等产品已经教育了用户的音视频使用习惯，要求根据不同场景、不同行业做出个性化产品，并具备快速应对市场反应的能力。
去年年初，全时云做了战略调整，砍掉了远程医疗和教育等诸多产品，按CEO陈学军的说法，他们还是一家小公司，必须聚焦在云视频会议产品上，产品聚焦使得在研发人员减半的情况下，全时云还能缩短近一半的研发周期来做好会议产品。
如今，随着国内互联网大厂的加入，有人认为这又是一场巨头的游戏，夹缝之下，全时云如何在云视频会议市场打出自己的名号？
抛却资本因素的影响，赵元军概括了全时云在技术、产品、市场领域特色：
传输架构的协议特别灵活。在当前状况下，虽然说中国云会议门槛越来越低，但是中国网络状况参差不齐，全时云能适应不同地区企业的UDP、TCP、HTTPS等不同网络策略的挑战。
全时云在视频会议采用的是是可定制化的HPC系统，会议中可以针对个人网络质量调整不同的码率、分辨率、帧率，达到动态平衡。
全时云的电话会议系统可以无缝打通，甚至还联动了VoIP第三方电话系统。
分布式能力。很多公司都做分布式架构，但全时云做到了能够就近接入多数据中心。在实际使用中，全时云支持过4000方的单场会议，而在实验室环境下最多能支持6000方。
多年的客户积累。作为一家多年深耕视频会议的厂商，全时云与思科、华为、中兴等第三方硬件视频的硬件视频厂商的产品无缝衔接。
全时云的产品交互在不断优化。在基础做好的同时，也会引入AI、大数据等新技术去完善产品，比如用翻译软件智能去记录会议纪要。
疫情催生的是行业风口还是一时狂欢
回顾近年国内的云视频会议变化，一开始是以思科、华为、中兴等传统企业做的硬件视频会议，随后网络视频会议引领潮流。如今，无需下载客户端，通过网页或小程序都可以进入视频会议，而且视频会议软件正与OA系统、CRM或者ERP等企业办公系统深度整合。
新一轮技术融合和市场机遇正在萌发。
5G的到来，人们一个普遍的感性认识是网络速度更快、带宽更高、延时更低，接入量更大。赵元军预计，与5G结合后，软件视频会议的门槛将会更低，网络探测功能也许就不再需要。还可以要求更高清的视频，与4K、8K、AR、VR技术结合使用。当然，这种变化不会一蹴而就。
而随着中国产业升级发展，他认为知识型产业对视频软件等办公协作工具的需求会愈来愈高。至于发展多大规模，他给CSDN算了一笔账：中国差不多是14亿人口，美国有4亿人口，虽然短期内赶不上，但中国市场也应该是美国的1.5倍多。
无疑，此次疫情的发生，一定程度上推动了云视频行业教育市场，关键是这种短期的利好怎么转化成中长期的优势？
赵元军回应，虽然会议市场好像都很兴奋，但在他看来用户量突然增加不一定是好事，如何留存用户才是关键，这就要看产品是否给免费用户带来更好的体验。从整体上看，他认为会议领域的发展是个缓慢增长的过程。
疫情拐点过后，当人们重新回到办公室，视频会议是一时狂欢还是在风口之上还有待验证。
全时云团队似乎并不纠结于此，他们更关注当下的实际问题。从这周开始，他们已在考虑下一步要做的事，“一是打磨产品，有更好的用户体验，做得更稳定；二是疫情突发，暴露了一些问题，团队还需要进一步去解决和完善。”赵元军说。
【End】
Firstbase CEO、创始人 Chris Herd 进行了《远程办公的 33 种预测》，并认为，到 2024-2025 年全球将有 1.23 亿人步入远程办公。作为一种新兴的办公模式，远程视频会议工具彰显着无数的可能。
如对音视频算法、流控技术感兴趣，欢迎共同探讨，岗位JD详见阅读原文链接。